听了陶老师的分享,很有收获,摘录了一些细节,备用,同时也可以和《在线服务设计方法论》很好的契合起来。
以下
- 快:利用了物联网大数据的十个特点
- 小 2.7MB:不利用第三方开源软件
- 技术创新
- 性能
- 一个采集点一张表(本质是动静数据分离,采集点的静态数据只存一次,表里只有动态数据,就可以做成只追加,不修改了。同时数据波动范围是稳定的)
- 列存,给数据压缩提供土壤
- 按块存储,块内连续存储,块索引
- 两级索引:标签(本质是空间索引),时序数据(本质是时间索引)
- 资源利用
- 按时间分区、按vnode(含一个或多个采集点)分片
- 多级存储:内存->SSD->HD->S3
- 高可靠
- write ahead log WAL
- 高可用
- Master-slave 多副本
- 性能
- 其它亮点
- 滑动窗口+聚合时间段 分开表达
- 数据订阅